查看原文
其他

算力专家交流纪要

调研纪要 2024-02-23

1、头部大厂模型水平逼近GPT3.5,各家厂商积极布局追赶GPT4。预计gpt4.0所需算力为4-5万P,是gpt3.5的约10倍。智谱的大模型距离4.0还有较大差距。


2、推理端的AI算力需求也持续上升。去年第四季度以来,上线的产品的日活用户数在稳定增长,导致推理需求也显著提升,商汤月需求大约每月增长15%。对于绘图、视频生成及相关AI技术的需求上升显著。


3、云算力租赁:云算力的租赁价格相对去年10月份有10%到15%的上涨。大厂A100以上的卡基本不出租了。提供A/H卡租赁的厂商涨价幅度比较大,近2个月涨了20%。目前8卡A100卡的服务器租金约为9万/月,大客户年付费会打6-7折(约为12万/p/年),大客户H卡年付费来看约为10万/p/年。


4、国产算力情况:

昇腾卡:910B卡的理论计算值接近英伟达A100,但稳定性和软件生态系统还无法与英伟达相提并论。等待910C来提升算力和解决互联问题。H的产能本身受限,目前市场上获取这些卡相对困难。


5、H20卡的情况

英伟达卡:H20显卡的算力基本上相当于H800的1/12。单卡算力的测试结果与此一致,但多卡加速比可能优于A100显卡。H20的售价可能达到H800的70%左右,H20的性价比严重低于H800。


6、商汤的卡:公司主要存量约有4万张,以A100、V100和H800三个型号为主,其中A100的数量最多,超过1万块。H800在小几千张;其余都是V100z新订的卡由于美国合规性问题,去年Q4至今基本上没有新卡到货。


继续滑动看下一个

算力专家交流纪要

向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存